Meta Connect 2024一文看尽:史上最强AR眼镜来了,成本7万块,黄仁勋亲自站台

2024-09-29 14:32:55 14 Admin

编者按:本文来自微信公众号 硅兔君(ID:gh_1faae33d0655),作者:XuuShan、蔓蔓周,悉地网经授权转载。

一文读懂Meta Connect2024:首款AR眼镜、Llama 3.2、Meta AI与Quest 3S。

Meta首款AR眼镜Orion终于亮相!

一年一度的年度盛会Meta Connect 2024上在加州Menlo Park举办。一如既往,扎克伯格又从Meta员工戴手铐的保险箱中小心翼翼地取出了憋了许久的大招——首款AR眼镜Orion。据Meta介绍,每副眼镜的生产成本大约1万美元(约7万人民币),这可能也是史上最贵AR眼镜。

Orion为分体式设计,采用波导方案设计,拥有厚重黑色边框,重98g。该AR眼镜能与Meta自研的肌电手环相适配,拥有手部跟踪、眼部跟踪、头部追踪等多种交互方式。

从演示视频上来看,用户戴上Orion可以刷网页、看短剧,甚至玩一些简单的3D游戏。当然,你也可以在Orion上听音乐、接视频电话。

不过,现阶段的Orion 眼镜仅用作演示和内部开发套件,大约仅生产1000副,并不对外正式开售。

这次Meta官方几乎没有提任何有关Orion的参数信息,芯片、光学、续航均未涉及。小扎只是拉来一众好友体验这款AR眼镜,为其站台。英伟达CEO黄仁勋在体验这款AR眼镜时,直言:“显示很棒,追踪很棒,色彩也很不错。”

不过,别着急惊艳,圈内一众科技博主早已拿到了Orion进行深度体验。

我们也进一步梳理了Orion详细信息:

1、AR眼镜采用分体式设计:Orion眼镜本身(98g)、独立计算单元、肌电手环;

2、基本硬件配置:7个摄像头、定制图形芯片、碳化硅光波导镜片、Micro LED微型显示器;

3、成本:每幅Orion成本高达1万美金,仅1000副、不发售;

4、Orion二代:Meta首款消费级AR眼镜、镜片更薄、非碳化硅光波导镜片、分辨率更高;

此外,Meta还推出了Quest 3平价版Quest 3S,主芯片采用的是基本配置与Quest 2相差不大,128G版本售价299.99美元,9月25日开售,10月15日上架。

Meta还展示了生成式AI如何与自家的社交全家桶相结合,并且推出Meta AI高级语音功能、AI视频以及AI翻译功能。

在大模型方面,Meta再次推出第一个能够同时处理图像和文本的开源模型Llama 3.2。该模型可以创建AI应用程序,例如提供实时视频理解的AR应用程序、基于内容对图像进行视觉搜索引擎或长文本分析。

发布会结束后Meta股价一路上涨,截止发稿前,最高点涨至575.77美元/股。

01

碳化硅+Micro LED波导方案

拥有超大70度视场角

Meta最秀肌肉展现实力的部分,是Orion的光学设计,可以看出Meta用材用料相当舍得。

Orion采用衍射光波导设计,波导片选择了碳化硅镜片,重量更轻、更耐用,折射率高。Meta首席技术官Andrew Bosworth在谈到这些镜片时表示:“你无法想象产量有多低。”

并且,Meta选择了Micro LED微型LED显示器,从发布会展示的图片中,我们推测大概率采用的是三色合一的光机方案。

从视频显示效果来看,Orion眼镜中间采用相当大的棱形四边形波导片,较大的波导片能够带来更广范围的显示区域。测评显示,Orion拥有70度超大FOV,远超业内常规波导类AR眼镜25度FOV(视场角)水平。

02

分体式设计

采用定制化芯片

Orion采用的是分体式设计,这意味着该AR眼镜还拥有一个单独的计算单元,承担主要的计算能力。Meta称之为“可以忽略不计的冰球”。

具体而言,有关Orion位置跟踪、手部跟踪、眼部跟踪以及一些图形算法将会在眼镜端运行。一些渲染和常规计算处理在控制器上运行,并将数据结果无线传输到眼镜。

Meta提到Orion的眼镜端采用了定制芯片。联合黄仁勋鲜少站台的行为,有不少网友推测,这款定制芯片有可能是英伟达打造。同时,眼镜端的轻质镁框架可以快速散热。

03

与肌电手环适配

支持四大交互方式

在交互方面,Orion可能是目前业内支持最多交互形式的AR眼镜,可以支持眼动、头动、语音以及手势四大交互方式。

Meta专门为Orion开发了肌电手环。该手环主要采用了肌电图 (EMG) 技术,采用高性能纺织材料,可以通过感知手腕的肌肉活动来追踪微小的手指运动。

目前,腕带可以识别几种基本操作:用拇指捏住食指可选择内容;捏住中指和拇指可调用或隐藏应用启动器;用拇指在闭合的手掌上做出抛硬币手势可向上或向下滚动。

结合眼动交互的肌电手环,Orion主要用眼睛充当指针,而捏合手指充当点击。这一点也是和苹果相似的交互逻辑。

Meta 表示,该肌电手环不受眼镜摄像头的视野限制,用户在任何位置都可以进行滑动、点击、滚动等操作。在两年前的Connect大会上,Meta展示了一系列肌电手环的酷炫操作,其中,最炫酷的则是,AR眼镜实现键盘“投影”,用户用肌电手环进行文本输入。

04

采用7颗摄像头

支持SLAM空间定位

据The Verge的记者介绍,镜框内嵌有七个摄像头,可以将虚拟物体固定在现实空间中,协助眼球和手部跟踪,并让 Meta 的 AI 助手了解您正在看什么。Meta的这一摄像头围绕镜框布置的设计,与苹果Vision Pro的设计异曲同工。

用户可以让虚拟窗口保持打开状态,转过头走开,只要眼镜还在,当您用户来时,窗口仍然在那里。这意味着Orion拥有SLAM空间定位功能,可以称上真正意义上的AR眼镜。

05

游戏几乎无延迟

与小扎对打乒乓球

在内容上,Orion目前的主要功能是结合Meta AI进行一些基础的交互,玩一些简单的AR 游戏、实现免提视频通话和多个虚拟屏幕同屏共享等功能。

比如说,The Verge的记者就和小扎当面来了一场3D版本的虚拟乒乓对决。(gif)两位Orion用户需要扫描二维码配对眼镜,然后使用手势跟踪来控制球拍。“游戏几乎没有延迟。”The Verge的记者说。

记者还通过Orion中的Meta AI识别摆放在桌子上的配料,制作冰沙。几秒钟后,它就正确地将标签放在各类配料上,并在配料上方的窗口中生成冰沙的配方指南。

06

Orion二代将于未来几年推出

或是首款消费级AR眼镜

Meta透露,Orion的二代版本将于未来几年推出,这可能是Meta首款消费级AR眼镜,其价格应该与当今的手机和笔记本电脑相当。

据了解首款消费级AR眼镜的镜片不会采用碳化硅制成,视野也不会那么大,但分辨率会更高。如果一切按计划进行,镜框厚度将只有现在Orion眼镜的一半左右。

Orion产品负责人Rahul Prasad透露:“获得更大的视野是一个科学问题。下一阶段是工程问题,即获得更高的分辨率、更高的亮度和更低的成本。

扎克伯格提到AR眼镜必须很好,用户才想要会将其佩戴在脸上。AR眼镜需要在用户不使用AR时,也能够提供一些基础服务。他还谈到AR眼镜的发展并非一蹴而就,不同的智能眼镜将会起到不同的功能,像是Ray-Ben智能眼镜适合一些轻应用的场景。

07

AI视频、AI翻译、AI高级语音

Meta AI打造内容创作工具箱

Meta与OpenAI接连上线了AI高级语音功能,可以帮助AI模型配上许多知名演员的声音,用户可以选择Dame Judi Dench、John Cena、Keegan Michael Key和Kristen Bell的声音,与之交互。

发布会上,扎克伯格与AI版Stevenson进行了对话。史蒂文森的AI助手回答了有关其创作过程的问题。同时,Meta AI还可以将西班牙语的视频直接转换成英语视频。“与文本相比,用语音与AI互动是一种更好的方式。”扎克伯格说。

同时,Meta AI还助力Ray-Ben智能眼镜的功能升级。现在,Ray-Ben智能眼镜与AI结合后,用户可以直接借助智能眼镜记录自己做菜过程,或者一键记录自己的停车位置。

如果你在街上拿到了一张海报,也可以直接借助智能眼镜拍摄相关二维码,或者一键拨打电话。如今,Ray-Ben智能眼镜还支持了AI翻译功能。用户可以借助AI直接翻译用户的话语。可以说,该功能直接为用户打造了一个同声传译助理。

不过,在现场的演示过程中,Meta AI的翻译似乎翻车,无法翻译扎克伯格与西语讲述者之间长时间对话。

扎克伯格说,Meta Ray-Ben智能眼镜的对话功能越来越强,它们将能更好地记忆你所看到的内容。它们还将配备多模态人工智能,能够实时为用户提供帮助。

08

AR眼镜加持

Meta借生成式AI重回宝座

2024年,Meta凭借生成式AI的突破性进展,成功逆转了其元宇宙领域发展的困境,股价一路飙升,重返美股市值前十的宝座。作为AVR领域的领军人物,Meta在Connect大会展示出的产品和技术,往往会成为业内瞩目的焦点。

过往几年以Quest系列为代表的头显一直是Meta Connect大会的主旋律,我们也看到了Meta在高端头显Meta Quest Pro、消费级头显Quest 3、Quest 3上做出不同探索。但今年,Meta终于在AR方向亮相了憋了许久的大招——首款AR眼镜Orion。

与业内常见波导类的AR眼镜相比,Orion用材相当舍得。其中,最为惊艳的是超大视场角,这也是Meta堆料展现了AR眼镜天花板。不过,从现有视频显示来看,似乎仍然出现掉帧、显示不清晰等情况。

此外,Meta还拥有其他AR厂商所不具备的强大AI底层能力。Ray-Ben智能眼镜和AI的结合玩法,究竟会在用户中反馈如何?这或许将影响不带显示功能的智能眼镜市场变化。

“我曾以为元宇宙在AI出现之前就能实现。”扎克伯格说:“命运的转折很有趣,AI在元宇宙真正能够以可普及前就先爆发。”

参考链接:

1、https://www.theverge.com/24253908/meta-orion-ar-glasses-demo-mark-zuckerberg-interview

2、https://www.uploadvr.com/meta-connect-2024-orion-prototype-ar-glasses/

本文为专栏作者授权悉地网发表,版权归原作者所有。文章系作者个人观点,不代表悉地网立场,转载请联系原作者。如有任何疑问,请联系editor@cyzone.cn。

Copyright © 悉地网 2018-2024.All right reserved.Powered by XIDICMS 备案号:苏ICP备18070416号-1